PC World 2007 December/PCWorld_2007-12_cd.bin/v cisle/htttrack/httrack-3.41-3.exe/{app}/src/htsopt.h

C/C++ Source or Header | 2007-02-03 | 14KB | 414 lines

/* ------------------------------------------------------------ */
/*
HTTrack Website Copier, Offline Browser for Windows and Unix
Copyright (C) Xavier Roche and other contributors

This program is free software; you can redistribute it and/or
modify it under the terms of the GNU General Public License
as published by the Free Software Foundation; either version 2
of the License, or any later version.

This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
GNU General Public License for more details.

You should have received a copy of the GNU General Public License
along with this program; if not, write to the Free Software
Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111-1307, USA.


Important notes:

- We hereby ask people using this source NOT to use it in purpose of grabbing
emails addresses, or collecting any other private information on persons.
This would disgrace our work, and spoil the many hours we spent on it.


Please visit our Website: http://www.httrack.com
*/


/* ------------------------------------------------------------ */
/* File: HTTrack parameters block                               */
/*       Called by httrack.h and some other files               */
/* Author: Xavier Roche                                         */
/* ------------------------------------------------------------ */


#ifndef HTTRACK_DEFOPT
#define HTTRACK_DEFOPT

#include <stdio.h>
#include "htsglobal.h"

/* Forward definitions */
#ifndef HTS_DEF_FWSTRUCT_t_hts_htmlcheck_callbacks
#define HTS_DEF_FWSTRUCT_t_hts_htmlcheck_callbacks
typedef struct t_hts_htmlcheck_callbacks t_hts_htmlcheck_callbacks;
#endif
#ifndef HTS_DEF_FWSTRUCT_t_dnscache
#define HTS_DEF_FWSTRUCT_t_dnscache
typedef struct t_dnscache t_dnscache;
#endif
#ifndef HTS_DEF_FWSTRUCT_hash_struct
#define HTS_DEF_FWSTRUCT_hash_struct
typedef struct hash_struct hash_struct;
#endif
#ifndef HTS_DEF_FWSTRUCT_robots_wizard
#define HTS_DEF_FWSTRUCT_robots_wizard
typedef struct robots_wizard robots_wizard;
#endif
#ifndef HTS_DEF_FWSTRUCT_t_cookie
#define HTS_DEF_FWSTRUCT_t_cookie
typedef struct t_cookie t_cookie;
#endif

/** Forward definitions **/
#ifndef HTS_DEF_FWSTRUCT_String
#define HTS_DEF_FWSTRUCT_String
typedef struct String String;
#endif
#ifndef HTS_DEF_STRUCT_String
#define HTS_DEF_STRUCT_String
struct String {
  char* buffer_;
  size_t length_;
  size_t capacity_;
};
#endif

/* Defines */
#define CATBUFF_SIZE (STRING_SIZE*2*2)
#define STRING_SIZE 2048

/* Proxy structure */
#ifndef HTS_DEF_FWSTRUCT_t_proxy
#define HTS_DEF_FWSTRUCT_t_proxy
typedef struct t_proxy t_proxy;
#endif
struct t_proxy {
  int active;
  String name;
  int port;
  String bindhost;   // bind this host
};

/* Structure utile pour copier en bloc les paramΦtres */
#ifndef HTS_DEF_FWSTRUCT_htsfilters
#define HTS_DEF_FWSTRUCT_htsfilters
typedef struct htsfilters htsfilters;
#endif
struct htsfilters {
  char***  filters;
  int*     filptr;
  //int*    filter_max;
};

/* User callbacks chain */
typedef int (*htscallbacksfncptr)(void);
typedef struct htscallbacks htscallbacks;
struct htscallbacks {
  void* moduleHandle;
  htscallbacksfncptr exitFnc;
  htscallbacks * next;
};

/* filenote() internal file structure */
#ifndef HTS_DEF_FWSTRUCT_filenote_strc
#define HTS_DEF_FWSTRUCT_filenote_strc
typedef struct filenote_strc filenote_strc;
#endif
struct filenote_strc {
  FILE* lst;
  char path[STRING_SIZE*2];
};

/* concat() functions */
#ifndef HTS_DEF_FWSTRUCT_concat_strc
#define HTS_DEF_FWSTRUCT_concat_strc
typedef struct concat_strc concat_strc;
#endif
struct concat_strc {
  int index;
  char buff[16][STRING_SIZE*2*2];
};

/* int2 functions */
#ifndef HTS_DEF_FWSTRUCT_strc_int2bytes2
#define HTS_DEF_FWSTRUCT_strc_int2bytes2
typedef struct strc_int2bytes2 strc_int2bytes2;
#endif
struct strc_int2bytes2 {
    char catbuff[CATBUFF_SIZE];
  char buff1[256];
  char buff2[32];
  char* buffadr[2];
};

/* cmd callback */
#ifndef HTS_DEF_FWSTRUCT_usercommand_strc
#define HTS_DEF_FWSTRUCT_usercommand_strc
typedef struct usercommand_strc usercommand_strc;
#endif
struct usercommand_strc {
  int exe;
  char cmd[2048];
};

/* error logging */
#ifndef HTS_DEF_FWSTRUCT_fspc_strc
#define HTS_DEF_FWSTRUCT_fspc_strc
typedef struct fspc_strc fspc_strc;
#endif
struct fspc_strc {
  int error;
  int warning;
  int info;
};

/* Structure Θtat du miroir */
#ifndef HTS_DEF_FWSTRUCT_htsoptstatecancel
#define HTS_DEF_FWSTRUCT_htsoptstatecancel
typedef struct htsoptstatecancel htsoptstatecancel;
#endif
struct htsoptstatecancel {
  char *url;
  htsoptstatecancel *next;
};

/* Mutexes */
#ifndef HTS_DEF_FWSTRUCT_htsmutex_s
#define HTS_DEF_FWSTRUCT_htsmutex_s
typedef struct htsmutex_s htsmutex_s, *htsmutex;
#endif

/* Hashtables */
#ifndef HTS_DEF_FWSTRUCT_struct_inthash
#define HTS_DEF_FWSTRUCT_struct_inthash
typedef struct struct_inthash struct_inthash, *inthash;
#endif

/* Structure Θtat du miroir */
#ifndef HTS_DEF_FWSTRUCT_htsoptstate
#define HTS_DEF_FWSTRUCT_htsoptstate
typedef struct htsoptstate htsoptstate;
#endif
struct htsoptstate {
  htsmutex lock;    /* 3.41 */
  /* */
  int stop;
  int exit_xh;
  int back_add_stats;
  /* */
  int mimehtml_created;
  String mimemid;
  FILE* mimefp;
  int delayedId;
  /* */
    filenote_strc strc;
    /* Functions context (avoir thread variables!) */
  htscallbacks callbacks;
    concat_strc concat;
    usercommand_strc usercmd;
    fspc_strc fspc;
    char *userhttptype;
    int verif_backblue_done;
    int verif_external_status;
    t_dnscache *dns_cache;
    /* HTML parsing state */
    char _hts_errmsg[1024];
    int _hts_in_html_parsing;
    int _hts_in_html_done;
    int _hts_in_html_poll;
    int _hts_setpause;
    char** _hts_addurl;
  int _hts_cancel;
  htsoptstatecancel *cancel;            /* 3.41 */
    char HTbuff[2048];
  unsigned int debug_state;
  unsigned int tmpnameid;               /* 3.41 */
};

/* Library handles */
#ifndef HTS_DEF_FWSTRUCT_htslibhandles
#define HTS_DEF_FWSTRUCT_htslibhandles
typedef struct htslibhandles htslibhandles;
#endif
#ifndef HTS_DEF_FWSTRUCT_htslibhandle
#define HTS_DEF_FWSTRUCT_htslibhandle
typedef struct htslibhandle htslibhandle;
#endif
struct htslibhandle {
  char *moduleName;
  void *handle;
};
struct htslibhandles {
  int count;
  htslibhandle *handles;
};

/* Javascript parser flags */
typedef enum htsparsejava_flags {
  HTSPARSE_NONE = 0,           // don't parse
  HTSPARSE_DEFAULT = 1,        // parse default (all)
  HTSPARSE_NO_CLASS = 2,       // don't parse .java
  HTSPARSE_NO_JAVASCRIPT = 4,  // don't parse .js
  HTSPARSE_NO_AGGRESSIVE = 8   // don't aggressively parse .js or .java
} htsparsejava_flags;

// paramΦtres httrack (options)
#ifndef HTS_DEF_FWSTRUCT_httrackp
#define HTS_DEF_FWSTRUCT_httrackp
typedef struct httrackp httrackp;
#endif
struct httrackp {
  size_t size_httrackp; // size of this structure
  /* */
  int wizard;       // wizard aucun/grand/petit
  int flush;        // fflush sur les fichiers log
  int travel;       // type de dΘplacements (same domain etc)
  int seeker;       // up & down
  int depth;        // nombre de niveaux de rΘcursion
  int extdepth;     // nombre de niveaux de rΘcursion α l'ΘxtΘrieur
  int urlmode;      // liens relatifs etc
  int debug;        // mode dΘbug log
  int getmode;      // sauver html, images..
  FILE* log;        // fichier log
  FILE* errlog;     // et erreur
  LLint maxsite;        // taille max site
  LLint maxfile_nonhtml; // taille max non html
  LLint maxfile_html;   // taille max html
  int maxsoc;           // nbre sockets
  LLint fragment;       // fragmentation d'un site
  int nearlink;         // prendre les images/data proche d'une page mais α l'extΘrieur
  int makeindex;        // faire un index
  int kindex;           // et un index 'keyword'
  int delete_old;       // effacer anciens fichiers
  int timeout;          // nombre de secondes de timeout
  int rateout;          // nombre d'octets minium pour le transfert
  int maxtime;          // temps max en secondes
  int maxrate;          // taux de transfert max
  int mms_maxtime;      // max duration of a mms file
  float maxconn;        // nombre max de connexions/s
  int waittime;         // dΘmarrage programmΘ
  int cache;            // gΘnΘration d'un cache
  //int aff_progress;     // barre de progression
  int shell;            // gestion d'un shell par pipe stdin/stdout
  t_proxy proxy;        // configuration du proxy
  int savename_83;      // conversion 8-3 pour les noms de fichiers
  int savename_type;    // type de noms: structure originale/html-images en un seul niveau
  String savename_userdef;  // structure userdef (ex: %h%p/%n%q.%t)
  int savename_delayed; // delayed type check
  int delayed_cached;   // delayed type check can be cached to speedup updates
  int mimehtml;         // MIME-html
  int user_agent_send;  // user agent (ex: httrack/1.0 [sun])
  String user_agent;    //
  String referer;       // referer
  String from;          // from
  String path_log;      // chemin pour cache et log
  String path_html;     // chemin pour miroir
  String path_bin;      // chemin pour templates
  int retry;            // nombre d'essais supplΘmentaires en cas d'Θchec
  int makestat;         // mettre α jour un fichier log de statistiques de transfert
  int maketrack;        // mettre α jour un fichier log de statistiques d'opΘrations
  int parsejava;        // parsing des classes java pour rΘcupΘrer les class, gif & cie ; see htsparsejava_flags
  int hostcontrol;      // abandon d'un host trop lent etc.
  int errpage;          // gΘnΘrer une page d'erreur en cas de 404 etc.
  int check_type;       // si type inconnu (cgi,asp,/) alors tester lien (et gΘrer moved Θventuellement)
  int all_in_cache;     // tout mettre en cache!
  int robots;           // traitement des robots
  int external;         // pages externes->pages d'erreur
  int passprivacy;      // pas de mot de pass dans les liens externes?
  int includequery;     // include la query-string
  int mirror_first_page; // miroir des liens
  String sys_com;       // commande systΦme
  int sys_com_exec;     // executer commande
  int accept_cookie;    // gestion des cookies
  t_cookie* cookie;
  int http10;           // forcer http 1.0
  int nokeepalive;      // pas de keep-alive
  int nocompression;    // pas de compression
  int sizehack;         // forcer rΘponse "mis α jour" si taille identique
  int urlhack;          // force "url normalization" to avoid loops
  int tolerant;         // accepter content-length incorrect
  int parseall;         // essayer de tout parser (tags inconnus contenant des liens, par exemple)
  int parsedebug;       // dΘbugger parser (debug!)
  int norecatch;        // ne pas reprendre les fichiers effacΘs localement par l'utilisateur
  int verbosedisplay;   // animation textuelle
  String footer;        // ligne d'infos
  int maxcache;         // maximum en mΘmoire au niveau du cache (backing)
  //int maxcache_anticipate; // maximum de liens α anticiper (majorant)
  int ftp_proxy;        // proxy http pour ftp
  String filelist;      // fichier liste URL α inclure
  String urllist;       // fichier liste de filtres α inclure
  htsfilters filters;   // contient les pointeurs pour les filtres
  hash_struct* hash;    // hash structure
  robots_wizard* robotsptr;         // robots ptr
  String lang_iso;      // en, fr ..
  String mimedefs;      // ext1=mimetype1\next2=mimetype2..
  String mod_blacklist; // (3.41)
  //
  int maxlink;          // nombre max de liens
  int maxfilter;        // nombre max de filtres
  //
  char* exec;           // adresse du nom de l'Θxecutable
  //
  int quiet;            // poser des questions autres que wizard?
  int keyboard;         // vΘrifier stdin
  int bypass_limits;    // bypass built-in limits
  //
  int is_update;        // c'est une update (afficher "File updated...")
  int dir_topindex;     // reconstruire top index par la suite
  //
  // callbacks
    t_hts_htmlcheck_callbacks *callbacks_fun;
  // store library handles
  htslibhandles libHandles;
  //
  htsoptstate state;    // state
};

// stats for httrack
#ifndef HTS_DEF_FWSTRUCT_hts_stat_struct
#define HTS_DEF_FWSTRUCT_hts_stat_struct
typedef struct hts_stat_struct hts_stat_struct;
#endif
struct hts_stat_struct {
  LLint HTS_TOTAL_RECV;      // flux entrant reτu
  LLint stat_bytes;          // octets Θcrits sur disque
  // int HTS_TOTAL_RECV_STATE;  // status: 0 tout va bien 1: ralentir un peu 2: ralentir 3: beaucoup
  TStamp stat_timestart;     // dΘpart
  //
  LLint total_packed;        // flux entrant compressΘ reτu
  LLint total_unpacked;      // flux entrant compressΘ reτu
  int   total_packedfiles;   // fichiers compressΘs
  //
  TStamp istat_timestart[2];   // dΘpart pour calcul instantannΘ
  LLint  istat_bytes[2];       // calcul pour instantannΘ
  TStamp istat_reference01;    // top dΘpart donnΘ par #0 α #1
  int    istat_idlasttimer;    // id du timer qui a rΘcemment donnΘ une stat
  //
  int stat_files;            // nombre de fichiers Θcrits
  int stat_updated_files;    // nombre de fichiers mis α jour
  int stat_background;       // nombre de fichiers Θcrits en arriΦre plan
  //
  int stat_nrequests;        // nombre de requΩtes sur socket
  int stat_sockid;           // nombre de sockets allouΘes au total
  int stat_nsocket;          // nombre de sockets
  int stat_errors;           // nombre d'erreurs
  int stat_errors_front;     // idem, mais au tout premier niveau
  int stat_warnings;         // '' warnings
  int stat_infos;            // '' infos
  int nbk;                   // fichiers anticipΘs en arriΦre plan et terminΘs
  LLint nb;                  // donnΘes transfΘrΘes actuellement (estimation)
  //
  LLint rate;
  //
  TStamp last_connect;      // last connect() call
  TStamp last_request;      // last request issued
};

#endif